一篇劃時代論文,催生出ChatGPT!《Attention Is All You Need》作者們現在在哪?
一篇劃時代論文,催生出ChatGPT!《Attention Is All You Need》作者們現在在哪?

2017年,Google以一篇劃時代論文《Attention Is All You Need》,替今日的AI風潮打下基礎。

論文中的語言模型Transformer,是ChatGPT、語言模型GPT背後的關鍵架構。Transformer最重要的突破,除了語言模型的運作流程之外,就是「平行化」,讓很多處理工作可以在同一時間完成,讓算力有了用武之地。史丹佛大學研究人員在2021年一篇論文中點出了Transformer模型的重要性:「它不僅推動了AI領域的典範轉移,更擴大了對AI可能性的想像。」

Transformer AI模型
Google在2017年一篇劃時代研究論文《Attention Is All You Need》中,介紹了他們開發的Transformer語言模型,此模型透過強大神經網路,能夠學習文字、影像資料間的連續關係和深層意義,總而言之,它讓AI更像了一個真正的「人」。

而在該篇論文中共有8名作者,在Transformer問世後至今6年的時間,他們都在做些什麼?

開發Transformer模型的人陸續離開Google,成為新生代矽谷創業家

論文《Attention Is All You Need》的作者,現在都在做什麼?
開發Transformer的工程師們,幾乎都紛紛出走Google、自立門戶,直至今日,他們創立的新創募資總金額來到10億美元,在矽谷發揮著舉足輕重的影響力。
圖/ Meet 創業小聚

撰寫《Attention Is All You Need》這篇論文的8位工程師和科技專家,幾乎都陸續離開了Google,朝向下一個目標邁進。

作者1:Illia Polosukhin轉向區塊鏈發展,創辦NEAR Protocol

Illia Polosukhin離開Google後,創辦了去中心化平台NEAR Protocol。Illia Polosukhin深刻體會到,如果引領科技的組織,全面掌控了網路時代的數據,那麼人們就可能無法再自由取得、使用資料,這也是他毅然決然離開Google的原因。

為了讓網際網路的生態保持創新,他打造了以區塊鏈為基礎的去中心化平台NEAR Protocol,讓大眾都可以在這個平台上自由的開發應用程式,揮灑創意。

作者2:Aidan Gomez以對抗壟斷為目標,開發大型語言模型API公司Cohere

2019年9月,Aidan Gomez創辦了Cohere,Cohere也以對抗大型科技公司壟斷AI研究為目標,建立了幫助企業建構大型語言模型的API,它還在2022年啟動一間Cohere For AI的非營利性研究實驗室,致力讓大眾享有AI技術服務。根據《路透社》報導,Cohere估值已經來到60億美元。

作者3:Jakob Uszkoreit投入生技領域,創辦Inceptive

而被許多人視為是開發Transformer的主要工程師Jakob Uszkoreit,則在2021年辭職投入了生技領域,他所創辦的Inceptive,透過深度學習技術設計核糖核酸(RNA)分子,用以開發新興藥物,目前已募集了2,000萬美元的資金。

作者4:Niki Parmar和Ashish Vaswani共同創辦了AI新創Adept

Niki Parmar和Ashish Vaswani也在2021年底相繼離開Google,共同創辦了Adept。Niki Parmar曾在《財富》的採訪中透漏,只有創業才能真正讓她實踐開發產品與科學研究的理想。

而Adept建構的ACT-1,正是基於他們先前研究的Transformer進一步優化的大型模型,能學習人們瀏覽網頁和使用軟體的方式,替人們把文字指令轉換為一系列動作。Adept現階段估值已來到10億美元,總募資額高達4.15億美元。

作者5:Noam Shazeer要讓虛擬人物有靈魂,創辦Character.ai

在Google工作20年的Noam Shazeer,同樣選擇在2021年底創業,和同為Google工程師的朋友一起打造了對話式AI平台Chracter.ai,這個平台能讓使用者和AI合作一同編寫對話,並且生成角色扮演式的文字回覆。它近日也剛以10億美元的估值獲得了1.5億美元的投資金。

作者6:Lukasz Kaiser跳槽加入OpenAI,Llion Jone則繼續留在Google

其餘兩人,Lukasz Kaiser和Llion Jone,前者在2021年時跳槽加入OpenAI,後者則選擇繼續待在Google,他是目前8位撰文的研究成員中,唯一還待在Google的工程師。

總結來說,開發Transformer的8位工程師,自立門戶的並不在少數。直至今日,他們創立的新創募資總金額來到10億美元,在矽谷發揮著舉足輕重的影響力。這些新創們的重要成績,似乎有一點2000年「PayPal 黑幫」(PayPal Mafia)的影子。

從PayPal到Google,矽谷下一個黑幫會是誰呢?

矽谷黑幫,指的是企業中的重要人才離開後,把過往的人脈、經驗、技術、資源投入到新的項目中,創造出更廣闊的網絡。

例如PayPal創辦人Peter Thiel現在成立了大數據分析公司Palantir,還投資培育了Facebook創辦人祖克柏等年輕新秀,其他PayPay核心成員如Keith Rabois、Reid Hoffman等則分別是FinTech新創Square的營運長、LinkedIn的創辦人等等。

其實,Google在2010年前後,也曾出現不同於PayPal創業形式的黑幫現象,《富比士》將它稱作「高階主管的Google黑幫」。當時,Google內部各個高階主管紛紛跳槽到像Facebook、Twitter以及Yahoo等科技公司,或離職成為專業新創投資人,劇烈的成員變動同樣為當時的科技業帶來影響與熱議。

現在,以《Attention Is All You Need》論文作者們為首的創業潮,又出現了另一個黑幫的影子,他們就像是為科技產業引入生成式AI的引導者,讓基於Transformer模型而生的生成式AI新創在矽谷遍地開花。

但是,真正讓這波生成式AI風潮成形的並不是Google,而是另一個透過ChatGPT將AI發揚光大的修行者——OpenAI。

OpenAI將催生下一波AI黑幫?

因ChatGPT備受關注的OpenAI,在過去5年裡,迎來30多位高層、工程師和研究員離職潮,他們多數都創辦了自己的公司,這些新創募資金額總計也超過了10億美元。或許我們正見證OpenAI黑幫成形的過程。

舉例來說,幫OpenAI開發了GPT-2和GPT-3模型的前研究副總監Dario Amodei,以及安全與政策副總監Daniela Amodei,就帶領OpenAI將近10位核心員工,另外創辦了以研究為導向的新創Anthropic,強調AI的安全性和共享性,發表了AI研究的基礎規則。

OpenAI前研究科學家Peter Chen也離開了OpenAI,他和加州大學柏克萊分校教授Pieter Abbeel等人聯手創辦Covariant,專注在創造新型AI機器人解決方案。而OpenAI前工程總監David Luan,也是和Google前研究員Niki Parmar和Ashish Vaswani共同創辦Adept的成員之一。

silicon valley_shutterstock_448884280Resize 1280.j
多數人認為,矽谷的OpenAI的黑幫已成形,這些從OpenAI出走的新創創辦人,現階段成為了矽谷和創投的新寵兒。
圖/ Shutterstock

矽谷中每隔一段時間迎來的創業風潮,就是持續創新的關鍵。因此,處於現在進行式中的Transformer、OpenAI黑幫,就是最值得密切關注的對象。

參考資料:[Ayosta]、[Analytics India Magazine]、[NewsBytes

本文授權轉載自:創業小聚

關鍵字: #創業 #創新創業
往下滑看下一篇文章
從代理到自研晶片!全科綜電以VDES晶片引領海洋通訊新浪潮,打造數位海洋之眼
從代理到自研晶片!全科綜電以VDES晶片引領海洋通訊新浪潮,打造數位海洋之眼

從海上防衛碰撞到國安戰略,全科綜電挑戰特高頻數據交換系統(Very High Frequency Data Exchange System; VDES)晶片設計的自主研發,不只為技術突圍,更為掌握關鍵通訊自主權,為臺灣IC設計在海事通訊領域開創新局。

在濃霧籠罩的海面上漁船緩慢航行,四周漆黑,船長緊盯著螢幕,畫面上清晰顯示周遭船隻的圖標,並即時標示其名稱、國籍、航速與航向,只要按下一個鍵,求救訊息就能即時發出,讓救援單位迅速在茫茫大海中定位他的位置。這就是守護海上安全的關鍵技術:船舶自動辨識系統(Automatic Identification System; AIS)。

「飛機有塔臺管理,船隻在海上航行也需要類似的系統,否則撞船是幾億的損失更是攸關人命的安全。」全科綜電董事長吳堉文語氣堅定的說。從最初防止船隻碰撞,到今日用於國土安全、搜救甚至個人海上定位,AIS已成每艘大大小小船隻的標配。吳堉文指出,AIS是繼雷達之後最具革命性的技術,因為早期僅靠雷達偵測,難以識別船隻身份,更別說避免碰撞。然而,當全球航運變得更加繁忙、資料需求更加龐大,傳統AIS的技術也正面臨新的挑戰,而這也是全科綜電積極突破的關卡。

從代理到自主研發,全科綜電的轉身一躍

時間回到二十多年前,當時全科綜電的母公司主要從事IC代理業務,代理了一家英國公司生產的AIS晶片。在尋找潛在客戶的過程中,吳堉文敏銳地發現,臺灣市場在AIS技術上幾乎還是一片空白。憑藉對海事產業的敏感嗅覺,他意識到這項技術蘊藏著龐大潛力,心中不禁自問:「臺灣四面環海,為什麼沒有本土公司來投入AIS?」這個疑問,成了他踏入該領域的起點,也促使他毅然決定親自投入,從零開始打造AIS事業。

全科綜電花了一年時間深入了解AIS的國際標準與規範。隨後他們成立獨立公司,但經歷漫長的八年虧損,投入的資金幾乎燒光。所開發出的第一代產品雖功能符合國際標準,但相較於競爭對手體積更大、賣相不佳,這迫使他們痛定思痛,投入大量資源重新開發,轉向更具競爭力的「軟體無線電」技術,這項決策最終讓全科綜電的第二代產品在體積和成本上與國際大廠看齊,甚至憑藉臺灣的製造成本優勢,在全球市場上取得穩固地位。「論品質、技術與效能我們什麼都不會輸,」吳堉文驕傲地說,因此連續每年都參加國際展覽,都讓許多國際大廠也紛紛尋求合作。

AIS領域的成功,不僅來自於技術突破,更仰賴對嚴苛海事產品認證的堅持。吳堉文強調,海事產品的認證極其困難,無論是硬體還是軟體都需通過層層檢驗。他們的產品送往德國聯邦海事與水文局(Bundesamt für Seeschifffahrt und Hydrographie, BSH) 國家級實驗室,接受超過2000項最高規格的測試。他坦言,海事認證的門檻甚至比車用電子更高,因為船舶作業環境必須承受潮濕、鹽分、風浪與震動等多重挑戰。這些嚴格且冗長的認證程序,不僅是品質的保證,更築起極高的技術門檻,使全球能通過這類海事認證的企業寥寥可數,也因此讓全科綜電在市場中擁有穩固的護城河。

然而,在數位時代飛速演進的此刻,技術迭代從未停歇。即便 AIS 已相當成熟,受限於僅 9.6k 的頻寬,能即時傳遞船舶位置與航向,卻無法承載更多元的數據交換,更遑論語音或影像傳輸。就如同過去只能發送文字簡訊的手機,若要邁入多媒體時代,就勢必要升級。這也成為全科綜電近年全力投入的關鍵戰場—特高頻數據交換系統(VDES),被譽為下一代海事通訊標準。

自主晶片布局,一步步攻克VDES技術高牆

為AIS Class B620船用自動識別系統設備,具備更高階通訊能力與航行資訊顯示功能,為推動海事數位化與未來 VDES 系統奠定基礎。
圖/ 全科綜電
為進階款 AIS Class A750,具備更高階通訊能力與航行資訊顯示功能,為推動海事數位化與未來 VDES 系統奠定基礎。
圖/ 全科綜電

VDES的核心,在於大幅增加頻寬並整合衛星通訊功能。這意味著未來船隻不僅能傳輸文字訊息,更能傳輸圖片,甚至有機會實現語音通訊。更重要的是,透過低軌道衛星的覆蓋,VDES將打破AIS數十公里範圍的限制,實現全球範圍內的船隻追蹤與通訊。吳堉文形容道,船隻從基隆港出去,就算遠到世界各地都能掌握其所在位置。正因為只要有衛星覆蓋,就能維持通訊與定位,此將徹底改變海事通訊的模式,為遠洋航行帶來前所未有的安全與效率。

面對VDES這片新藍海市場,全科綜電不僅是追隨者,更是積極的引領者。吳堉文透露,他們這次申請經濟部產業發展署所推動的「驅動國內IC設計業者先進發展補助計畫」(簡稱「晶創IC補助計畫」)的目的,就是要用於投入VDES晶片的自主研發。他表示,由於通訊技術涉及國家安全,若核心晶片研發技術掌握在他人手中,將受制於人,而為了掌握關鍵技術的自主權,全科綜電在VDES這一役上也將積極打造屬於臺灣自主研發的VDES晶片。

而晶創IC補助計畫本身,也是在國科會統籌協調,結合經濟部及相關部會共同推動的「晶片驅動臺灣產業創新方案」架構下展開,透過政策資源與實質補助,引導業者前瞻布局 AI、高效能運算及各類新興應用等高值化關鍵技術,藉此強化臺灣IC設計產業的國際競爭力與整體韌性,正好與全科綜電的自主研發策略相互呼應,也讓VDES晶片的在地化研發更具加速落地的條件。

然而,VDES晶片的開發複雜度遠超AIS晶片。吳堉文表示,目前研發團隊的策略是先在現場可程式化邏輯閘陣列(Field-Programmable Gate Array; FPGA)上進行功能驗證,待所有功能符合規範且通過驗證後,才會投入高成本的特殊應用積體電路(Application-Specific Integrated Circuit; ASIC) 進行投片。為了這項艱鉅的任務,全科綜電正積極招募人才,特別是通訊和FPGA技術領域的工程師,因為在臺灣,能理解並掌握VDES晶片技術的專業人士相當稀少,甚至遠從德國邀請相關領域的教授擔任顧問。

吳堉文也透露,在VDES晶片研發中他們期望能實現語音通訊功能,儘管國際標準中並未強制要求。主要是因為語音可以壓縮成數據傳輸,當頻寬增大,語音通訊的品質就能得到保證。甚至,他們還嘗試利用AI技術,將語音即時轉換為文字訊息進行傳輸,這項全科綜電自主研發的進階功能,將有效克服AIS頻寬不足的問題,大幅提升海事通訊的效率與便利性。

20年磨一劍,全科綜電瞄準下一代海事通訊標準

全科綜電董事長吳堉文深耕 AIS 與 VDES 海事通訊技術二十年,推動臺灣自主研發與晶片化,致力打造「數位海洋之眼」。
圖/ 全科綜電

可以說VDES的發展,不僅僅是技術的升級,更推動了應用場景的大幅拓展。吳堉文透露,AIS技術已成功應用於無人機通訊,使其能飛行超過30公里遠並穩定傳輸座標資訊 。未來,隨著VDES頻寬的增大和衛星通訊的加入,無人機的通訊距離將更遠、功能更強大,甚至能支援無人計程車或物資運輸等應用,「它是一項應用潛力極大的新技術,」吳堉文說。

從防止碰撞、國土安全,到人員搜救、智慧物流,再到未來的無人載具應用,AIS和VDES技術如同「數位海洋之眼」,為人類探索、利用和管理海洋提供了前所未有的工具。全科綜電也正站在這場關鍵轉折點上,試圖讓臺灣不再只是全球供應鏈的一環,而是能夠掌握海事自主通訊話語權的關鍵玩家。「我們花了20年建立AIS技術基礎,也花了十幾年在國際市場證明自己,現在我們要走向下一個時代了。」吳堉文充滿堅定地表示,這不僅是全科綜電的未來,更是臺灣在數位海洋時代,展現自主科技實力的重要里程碑。

|企業小檔案|
- 企業名稱:全科綜電股份有限公司
- 創辦人:吳堉文
- 核心技術:船舶自動辨識系統(AIS)電子設備和解決方案供應商

|驅動國內IC設計業者先進發展補助計畫簡介|
由國科會協調經濟部及相關部會共同合作,所提出「晶片驅動臺灣產業創新方案」,目標在於藉由半導體與生成式AI的結合,帶動各行各業的創新應用,並強化臺灣半導體產業的全球競爭力與韌性。在此政策框架下,經濟部產業發展署執行「驅動國內IC設計業者先進發展補助計畫」,以實質政策補助,於113年鼓勵國內業者往 AI、高效能運算、車用或新興應用等高值化領域之「16奈米以下先進製程」或「具國際高度信任之優勢、特殊領域」布局,以避開中國大陸在成熟製程的低價競爭,並提升我國IC設計產業價值與國際競爭力。

登入數位時代會員

開啟專屬自己的主題內容,

每日推播重點文章

閱讀會員專屬文章

請先登入數位時代會員

看更多獨享內容

請先登入數位時代會員

開啟收藏文章功能,

請先登入數位時代會員

開啟訂閱文章分類功能,

請先登入數位時代會員

我還不是會員, 註冊去!
追蹤我們
進擊的機器人
© 2025 Business Next Media Corp. All Rights Reserved. 本網站內容未經允許,不得轉載。
106 台北市大安區光復南路102號9樓